Sau khi tiếp quản miền Bắc, ông tham gia quá trình tổ chức hiện đại hóa quân đội. Đại đoàn 308 được tổ chức lại thành Sư đoàn.

Từ năm 1956 đến 1963, ông được cử làm Tư lệnh Quân khu Hữu ngạn. Năm 1964, ông được cử làm Phó Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam và giữ chức vụ này đến khi mất vào năm 1980.

Ngoài ra ông còn kiêm chức giám đốc Học viện Quân sự (1964), Tư lệnh Quân khu 4, Quân đội nhân dân Việt Nam (1971).

Ông được phong quân hàm Đại tá năm 1948, Thiếu tướng 1954, Trung tướng 1974; được nhà nước Việt Nam trao tặng Huân chương Hồ Chí Minh; Huân chương Sao Vàng; Huân chương Quân công hạng nhất, hạng ba; Huân chương Chiến thắng hạng nhất, v.v.

Ông cũng là tác giả hồi ký "Trưởng thành trong chiến đấu" [Nhà xuất bản Hà Nội, 2006] và một số tác phẩm quân sự.

Ông mất năm 1980. Sau khi mất, ông được an táng tại nghĩa trang Mai Dịch,Từ Liêm,Hà Nội.